MultiHashFormer: Hash-based Generative Language Models
MultiHashFormer：基于哈希的生成式语言模型
🧭 基于哈希的生成式语言模型
School of Computer Science, University of Sheffield
用多哈希函数生成唯一 token 签名，实现哈希自回归生成，在保持低参数量的同时超越标准 Transformer
📌 工作参考价值（4 点）
- 商品 / 搜索词嵌入压缩：在推荐或搜索系统中，物品 ID 或 query 的词汇表极大，可以利用多哈希签名代替全量 embedding 矩阵，大幅降低参数量与内存。
- 生成式推荐中的物品解码：对于 GenRec 场景，可将物品编码为哈希签名，由解码器自回归生成签名序列，再映射回具体物品，实现无固定词表的生成式推荐。
- 动态词表扩展：新商品、新搜索词随时上线时，无需重新训练或增加参数即可通过哈希映射加入，适合电商环境下频繁变动的 item 库。
- 多语言 / 多模态统一表示：若业务涉及多语言商品描述或多模态实体，可用相同哈希框架统一编码，避免为每种语言或模态单独维护 embedding 表。